學習率( Learning Rate)算是NN的一個超參數之一，他控制了優化器更新權重的速度，如果學習率越小，學習速度越慢，但是可以減少錯過局部最佳解的機會；學習率越大越收斂速度越快，但是可能會導致錯過局部最佳解。那學習率如何控制權重呢？
主要是以控制優化器改變的比例來更新權重，如果學習率太大就可能導致梯度爆炸，讓loss突破天際。
note：Loss為一個損失函數評估出來的成果，與真實輸出的數值做比較的差距，越小越好，但是可能不為0(如果損失函數的最小數值不是0的情況)
圖片來源：https://kknews.cc/zh-tw/code/936ylkj.html
說道學習率，也不能不提的是優化器(Optimizer)，簡單來說就是一個演算法可以讓NN的判斷越來越接近我們的目標，每次學習都會提供一個梯度來使模型更接近答案。
圖片來源： https://blog.csdn.net/HAIYUANBOY/article/details/89845646
參考資料
[1] https://kknews.cc/zh-tw/code/936ylkj.html
iThome鐵人賽
看影片追技術